Préparez des données pour un organisme de santé publique¶

L'agence "Santé publique France" a lancé un appel à projets pour rendre les données de santé plus accessibles. L’agence souhaite faire explorer et visualiser des données, pour que ses agents puissent les exploiter.

L'anayse est basée sur le jeu de données Open Food

Sommaire¶

1. Environnement de développement
1. Installation de l'environnement
2. Import des librairies
3. Fonctions utilitaires
2. Présentation générale du jeu de données
3. Nettoyage du jeu de données
4. Sélection des données à étudier
5. Analyse des données sélectionnées
1. Variables qualitatives
1. Nettoyage des variables qualitatives
2. Analyse univariée des variables qualitatives
3. Analyse bivariée avec le nutrition_grade
2. Variables quantitatives
1. Nettoyage des variables quantitatives
2. Analyse univariée des variables quantitatives
3. Analyse bivariée entre chaque variable quantitative
4. Analyse des corrélations entre les variables quantitatives
6. Imputation de données manquantes
7. Analyse statistique du jeu de données
1. Analyse après nettoyage et imputation des valeurs manquantes
2. Analyse en composantes principales (ACP)
3. ANOVA
8. Conclusion

Environnement de développement¶

Installation de l'environnement¶

Un environnement virtuel a été créé pour assurer l’isolement du projet et la gestion des dépendances. Les informations de cet environnement (son nom et ses dépendances) sont précisées dans le fichier environment.yml

L'installation de l'environnement virtuel est possible à partir de ce fichier, dans un invite de commande lancer la commande :

conda env create -f environment.yml

Import des librairies¶

Fonctions utilitaires¶

Fonctions utilisées pour automatiser l'analyse des données

Présentation générale du jeu de données¶

Il y'a beaucoup de colonnes vides ou très peu remplies (plus de 75% de valeurs manquantes).

Nettoyage du jeu de données¶

Avant de commencer l'analyse, il faut procéder à un nettoyage du jeu de données pour qu'il soit plus complet et plus uniforme.

On commence par supprimer les colonnes peu remplies, c'est à dire celles qui ont plus de 75% de valeurs manquantes

On supprime ensuite les lignes dont aucune donnée nutritionnelle n'a été renseignée (les colonnes terminant par _100g)

On supprime les lignes dont le code ou le nom du produit n'est pas renseigné

On vérifie si il y a des doublons pour le code des produits

Il n'y pas de doublon à déclarer.

On affiche donc les informations du data après le nettoyage :

Sélection des données à étudier¶

Dans cette partie on va sélectionner les données intéressantes pour notre étude

On commence par catégoriser nos variables en 2 groupes : les variables qualitatives et quantitatives

À partir de cette catégorisation, on ne va garder que les colonnes pertinentes dans le cas de notre étude :

Pour les variables qualitatives on sélectionne :

• product_name
• nutrition_grade_fr
• pnns_groups_1
• pnns_groups_2
• main_category

Pour les variables quantitatives on sélectionne :

• energy_100g
• fat_100g
• saturated-fat_100g
• trans-fat_100g
• cholesterol_100g
• carbohydrates_100g
• sugars_100g
• fiber_100g
• proteins_100g
• salt_100g
• sodium_100g
• vitamin-a_100g
• vitamin-c_100g
• calcium_100g
• iron_100g
• nutrition-score-fr_100g

Analyse des données sélectionnées¶

On va maintenant analyser notre jeu de données sélectionné en s'intéressant principalement au nutrition_grade des produtis, ainsi qu'à leurs valeurs nuutritionnelles.

Variables qualitatives¶

On commence par analyser les données qualitatives

Nettoyage des variables qualitatives¶

On effectue un second nettoyage un peu plus poussé sur les données qualitatives, afin d'uniformiser les données :

• On passe les valeurs en minuscule
• On remplace les valeurs à "unknown" par la valeur Nan

Analyse univariée des variables qualitatives¶

On affiche les graphiques pour les colonnes ne présentant pas trop de valeurs uniques. On regroupe les valeurs représentant moins de 1.5% des données dans une catégorie nommée 'other'

On voit que la répartition du nutri-score (noté de A à E) n'est pas uniforme, il y a une majorité de produits avec un mauvais nutriscore (C, D et E).

Les 19 catégories les plus courantes représentent environ 50% des produits.

Pour les différents groupes d'aliments (groupes 1 et 2), il y a une majorité de produits sucrés, laitiers ou céréales.

Analyse bivariée avec le nutrition_grade¶

Ici on va afficher la répartition du nutrition_grade en fonction des autres variables qualitatives

On peut voir par exemple que les chocolats, biscuits, cakes, sugary snack ... ont généralement un mauvais nutri-score (D ou E), et que les canettes de nourriture, laits, céréales, fruits ... ont un bon nutri-score (A ou B)

Variables quantitatives¶

On analyse maintenant les données quantitatives

Nettoyage des variables quantitatives¶

On effectue un second nettoyage un peu plus poussé sur les données quantitatives, afin d'uniformiser les données :

• On supprime les valeurs inférieures à 0 et supérieures à 100 pour les données nutritionnelles
• On supprime les outliers par la méthode de l'inter-quartile pour les autres données
• On supprime les produits dont la somme en g des données nutritionnelles est supérieure à 100
• On supprime les produits dont l'énergie calculée est trop différente de l'énergie renseignée

On voit que pour les données nutritionnelles (colonnes terminant par _100g) il y a des incohérences, il y a des valeurs négatives et des valeurs supérieures à 100 ce qui est impossible. Pour l'énergie et le nutrition-score exprimé en valeur numérique il y a également des abérrations, ici on utilisera la méthode de l'inter-quartile

On va donc supprimer les valeurs en dessous de 0 et au dessous de 100 pour les colonnes suivantes :

• fat_100g
• saturated-fat_100g
• trans-fat_100g
• cholesterol_100g
• carbohydrates_100g
• sugars_100g
• fiber_100g
• proteins_100g
• salt_100g
• sodium_100g
• vitamin-a_100g
• vitamin-c_100g
• calcium_100g
• iron_100g

On va supprimer les outliers par la méthode de l'écart inter-quartiles, pour les colonnes suivantes :

• energy_100g
• nutrition-score-fr_100g

Nos données quantitatives sont maintenant plus uniformes. Analysons comment les étudier :

Les données nutritionnelles principales sont :

• fat_100g (lipides), décliné ensuite par les données :
  • saturated-fat_100g
  • trans-fat_100g
  • cholesterol_100g
• carbohydrates_100g (glucides), décliné ensuite par les données :
  • sugars_100g
  • fiber_100g
• proteins_100g (protéines)
• salt_100g, décliné ensuite par :
  • sodium_100g

Ces données principales servent à calculer :

• energy_100g

Le calcul des calories d'un aliment s'effectue selon un processus normalisé au niveau européen et baptisé système « 4/4/9 » Ce système implique que l'équivalent calorique d'un gramme de protéines, de glucides et de lipides - nos trois principaux « carburants » nutritionnels - correspond respectivement à 4, 4 et 9 kcal.

1 gr de proteine apporte 4 kcal 1 gr de glucide (carbohydrate) apporte 4 kcal 1 gr de lipide apporte 9 kcal

On va rajouter 3 colonnes dans notre data :

• sum_nutritional_elements_100g : c'est la somme en g des données nutritionnelles principales (on ajoute le sel ici)
• energy_calculated_100g : c'est l'énergie calculée à partir des données nutritionnelles principales (on ne tient pas compte du sel)
• energy_difference : c'est la différence d'énergie entre celle calculée et celle renseignée

Commencons par supprimer les produits dont la somme en g des valeurs nutritionnelles principales est supérieure à 100, car c'est impossible. Cela signifie que les données sont mal renseignées pour ce produit.

Affichons maintenant le graphique représentant pour les produits la différence entre l'énergie renseignée et celle calculée

On voit que pour la majorité des produits la différence d'énergie est très faible, ce qui signifie que notre calcul en utilisant les données nutritionnelles principales et le système 4/4/9 représente assez bien nos données. On choisit ici de supprimer les produits qui ont une différence supérieure à 300 kJ (correspondant à 72 kcal), cela signifie qu'il manque des données nutritionnelles ou qu'elles sont mal renseignées. Ceci nous permettra d'avoir des données plus pertinentes pour l'analyse

Analyse univariée des variables quantitatives¶

On affiche les boîtes à moustaches ainsi que les histogrammes pour chaque variable quantitative

Si l'on se fie aux boîtes à moustaches on voit qu'il reste des outliers. Cela est du à la trop grandes répartition des valeurs autour de 0 pour certaines variables. Durant le nettoyage on a décidé de supprimer les valeurs en dessous de 0 et au dessus de 100 pour les données nutritionnelles, et de compléter le nettoyage en vérifiant le calcul de la somme des données nutritionnelles et le calcul de l'énergie.

La détermination des outliers avec la méthode de l'écart-interquartile n'est donc ici pas très pertinente, excepté pour l'énergie et le nutri-score mais les outliers ont été correctement supprimés lors du nettoyage.

On voit que les variables qui ont une distribution plus étalée correspondent à nos trois principaux « carburants » nutritionnels, protéine, glucide et le gras, ainsi que l'énergie et le nutriscore. Les autres variables étant des déclinaisons des principaux carburants sont moins souvent présente, d'ou leur plus grande répartion autour des petites valeurs.

Pour la suite de l'étude on va réduire les valeurs quantitatives sélectionnées. On ne va pas garder celles qui ont beaucoup trop de valeurs autour de 0. On ne va étudier que les variables ayant une répartion des valeurs assez importante pour pouvoir les comparer avec la variation d'énergie et le nutriscore.

Variables quantitatives sélectionnnées :

• energy_100g
• fat_100g
• saturated-fat_100g
• carbohydrates_100g
• sugars_100g
• fiber_100g
• proteins_100g
• salt_100g
• sodium_100g
• nutrition-score-fr_100g

Analyse bivariée entre chaque variable quantitative¶

Analysons maintenant les relations entre chaque variable quantitative

On remarque :

• Une corrélation entre les principaux carburants et leurs déclinaisons (fat avec saturated_fat, et carbohydrates avec sugars)
• une corrélation parfaite entre salt_100g et sodium_100g (ce qui est logique car le sodium est un composé du sel)
• L'énergie est le plus corrélé avec le gras, puis ensuite avec les glucides.
• Le nutri_score est beaucoup impacté par l'énergie (et donc le gras car ils sont corrélés)

Analyse des corrélations entre les variables quantitatives¶

Regardons maintenant la matrice de corrélations

Les indices de corrélation entre chaque variable quantitative nous permettent d'affirmer les remarques faites précedemment, à savoir :

• Une corrélation entre les principaux carburants et leurs déclinaisons (fat avec saturated_fat, et carbohydrates avec sugars)
• une corrélation parfaite entre salt_100g et sodium_100g (ce qui est logique car le sodium est un composé du sel)
• L’énergie est le plus corrélé avec le gras, puis ensuite avec les glucides.
• Le nutri_score est beaucoup impacté par l’énergie (et donc le gras car ils sont corrélés)

Imputation de données manquantes¶

Afon d'avoir un jeu de données plus complet pour pousser notre analyse, on va maintenant imputer les valeurs des données manquantes pour nos colonnes possédant encore un % de valeurs à Nan

On voit que les colonnes suivantes ne sont pas encore complètes :

• nutrition_grade_fr
• nutrition-score-fr_100g
• saturated-fat_100g
• sugars_100g
• fiber_100g

(On n'imputera pas les valeurs manquantes pour les variables qualitatives)

On va commencer par imputer les valeurs sur les données nutritionnelles par la médiane (et non par la moyenne car il y'a beaucoup d'outliers pour ces colonnes comme on a pu le voir avec les boîtes à moustaches)

Maintenant que toutes les données nutritionelles sont complètes, on va imputer les valeurs manquantes de la colonne 'nutrition_grade_fr' (valeurs notées de A à E), en utilisant l'algorithme knn (Méthode des k plus proches voisins), ce qui permet d'imputer les valeurs d'un produit selon les produits qui lui ressemble le plus.

Cette colonne une fois complète nous permettra de déterminer les valeurs manquantes de la colonne 'nutrition-score-fr_100g', ces 2 colonnes étant étroitement corrélées. Pour ce faire, connaissant le nutrition-grade d'un produit, si son nutrition-score est manquant, on l'imputera avec la moyenne des nutrition-score dont le nutrition-grade est le même.

Nos données quantitatives sont maintenant complètes, on va pouvoir aller un peu plus loin dans l'analyse des variables quantitatives.

Analyse statistique du jeu de données¶

On commencera par une analyse générale de notre jeu de données, pour voir si les remarques faites précedemment sont toujours valables après l'imputation des données manquantes, on vérifie que notre jeu de données à toujours "la même tendance". On fera ensuite une analyse descriptive du jeu de données.

Analyse après nettoyage et imputation des valeurs manquantes¶

D'après l'analyse bivariée entre chaque variable quantitative et la matrice de corrélation, on remarque très peu de changement par rapport à la présente analyse faite avant l'imputation des données manquantes. L'imputation des données manquantes n'a donc pas modifié la tendance de notre de jeu de données, mais il est maintenant complet et permet une analyse plus poussée.

Analyse en Composantes Principales (ACP)¶

On va ici étudier la variabilité entre les individus, ainsi que les liaisons entre les variables.

l'ACP nous a permis de déterminer 4 composantes principales (F1 à F4), qui représentent les axes principaux d'inertie et totalisent à eux 86.4% de l'inertie du nuage de points des individus. Les axes d'inertie suivant sont trop peu représentatifs pour être intéressants à étudier.

La composante F1 est corrélée avec l'énergie, le nutrition_grade, le gras et le gras saturé. Si l'on se déplace sur la composante F1, on observe donc une augmentation de nutrition_grade en passant de A vers E, l'énergie du produit sera également plus importante. Comme vu précédemment, c'est bien le gras qui impacte le plus l'énergie du produit et son nutrition_grade. Les autres nutriments l'impactent aussi mais plus faiblement.

La composante F2 est corrélée avec le sel et le sodium. Si l'on se déplace sur la composante F2, les produits sont de plus en plus salés, et correspondent à un nutrition_grade de rang C ou D. Ils sont également de moins en moins gras et caloriques.

La composante F3 est corrélée positivement avec les glucides et le sucre, et négativement avec la protéine. Si l'on se déplace vers la droite sur la composante F3, les produits seront composés de plus de glucides et de moins de protéines sans impacter grandement l'énergie.

La composante F4 est corrélée à la fibre et aux protéines. Si l'on se déplace sur la composante F4, les produits seront composés de plus de fibres et de protéines, et le nutrition_grade sera impacté dans le sens inverse, les produits auront donc un meilleur rang, allant de E vers A.

Voici les hypothèses que l'on peut faire en fonction des différents rangs :

• A : produits avec peu de gras / sucres, et plus de protéines et de fibres
• B : produits avec un peu de tout mais en faible quantité
• C : produits avec un peu de tout en faible quantité mais plus salé
• D : produits majoritairement gras / sucrés
• E : produits majoritairement très gras / sucrés

ANOVA¶

Étudions maintenant l'analyse de la variance entre chaque variable quantitative et le nutrition_grade

Avec ces boîtes à moustaches on observe la répartition des classes du nutrition_grade (A à E), pour chaque variable quantitative. On calcule ensuite le rapport de corrélation des variables (compris entre 0 et 1), qui est le rapport entre les variances interclasses et la variance totale. Il n'y a pas corrélation si les moyennes pas classes sont toutes égales ou presque. Il y a corrélation si les moyennes par classes sont très différentes.

On observe donc ici que les variables les plus corrélées avec le nutrition_grade sont :

• energy_100g (R = 0.4078)
• fat_100g (R=0.3101)
• saturated_fat_100g (0.4291)

Les glucides et le sucres le sont beaucoup moins :

• carbohydrates_100g (R=0.1164)
• sugars_100g (R=0.198)

Les autres nutriments ne sont pas corrélés avec le nutrition_grade

Cela correspond aux analyses précédentes et permet d'émettre les mêmes hypothèses

Conclusion¶

Cette analyse permet de mieux comprendre comment est calculé le nutri_score et le nutrition_grade.

Ce sont des indicateurs qui permettent de comparer les produits sur des critères nutritionnels, "A" correspondant à ceux de meilleure qualité nutritionnelle, et "E" au moins favorables.

D'après certaines recommentations, pour rester en bonne santé il convient d'avoir un apport journalier calorique à ne pas dépasser, et de varier les nutriments tout en favorisant les fibres, protéines, fruits et légumes ..., et limiter les produits très caloriques, les acides gras saturés, le sucre, le sel ...

Avec notre analyse on voit que les produits de meilleure qualité et meilleure pour la santé sont ceux à plus faible calorie et étant composés de fibres, ou de protéines. Vient ensuite les produits composés d'un peu de tout les nutriments, ou salés. Et les produits les moins bons sont les produits très sucrées ou très gras avec un très grand apport calorique.

Notre analyse correspond bien aux recommendations faites par l'agence nationale de sécurité sanitaire de l'alimentation, et nous permet de mieux comprendre l'impact des différents nutriments sur l'énergie d'un produit et son nutri_score.